정보처리학회 논문지 소프트웨어 및 데이터 공학
Current Result Document :
| 한글제목(Korean Title) |
적대적 생성 신경망을 통한 얼굴 비디오 스타일 합성 연구 |
| 영문제목(English Title) |
Style Synthesis of Speech Videos Through Generative Adversarial Neural Networks |
| 저자(Author) |
최희조
박구만
Choi Hee Jo
Park Goo Man
|
| 원문수록처(Citation) |
VOL 11 NO. 11 PP. 0465 ~ 0472 (2022. 11) |
한글내용
(Korean Abstract) |
본 연구에서는 기존의 동영상 합성 네트워크에 스타일 합성 네트워크를 접목시켜 동영상에 대한 스타일 합성의 한계점을 극복하고자 한다. 본 논문의 네트워크에서는 동영상 합성을 위해 스타일갠 학습을 통한 스타일 합성과 동영상 합성 네트워크를 통해 스타일 합성된 비디오를 생성하기 위해 네트워크를 학습시킨다. 인물의 시선이나 표정 등이 안정적으로 전이되기 어려운 점을 개선하기 위해 3차원 얼굴 복원기술을 적용하여 3차원 얼굴 정보를 이용하여 머리의 포즈와 시선, 표정 등의 중요한 특징을 제어한다. 더불어, 헤드투헤드++ 네트워크의 역동성, 입 모양, 이미지, 시선 처리에 대한 판별기를 각각 학습시켜 개연성과 일관성이 더욱 유지되는 안정적인 스타일 합성 비디오를 생성할 수 있다. 페이스 포렌식 데이터셋과 메트로폴리탄 얼굴 데이터셋을 이용하여 대상 얼굴의 일관된 움직임을 유지하면서 대상 비디오로 변환하여, 자기 얼굴에 대한 3차원 얼굴 정보를 이용한 비디오 합성을 통해 자연스러운 데이터를 생성하여 성능을 증가시킴을 확인했다. |
영문내용
(English Abstract) |
In this paper, the style synthesis network is trained to generate style-synthesized video through the style synthesis through training Stylegan and the video synthesis network for video synthesis. In order to improve the point that the gaze or expression does not transfer stably, 3D face restoration technology is applied to control important features such as the pose, gaze, and expression of the head using 3D face information. In addition, by training the discriminators for the dynamics, mouth shape, image, and gaze of the Head2head network, it is possible to create a stable style synthesis video that maintains more probabilities and consistency. Using the FaceForensic dataset and the MetFace dataset, it was confirmed that the performance was increased by converting one video into another video while maintaining the consistent movement of the target face, and generating natural data through video synthesis using 3D face information from the source video’s face. |
| 키워드(Keyword) |
적대적 생성 네트워크
비디오 생성
스타일 변환
스타일 합성 네트워크
동영상 합성 네트워크
Generative Adversarial Network
Video Generation
Style Transfer
Style Synthesis Network
Video Synthesis Network
|
| 파일첨부 |
PDF 다운로드
|
